Dinh này do vua Philip II cho xây dựng, do các kiến trúc sư Juan Bautista de Toledo và Juan de Herrera thiết kế.[4] Các kiến trúc sư này cũng chính là những người đã thiết kế dinh và tu viện El Escorial. Dinh này được hoàn thành dưới triều đại vua Ferdinand VI. Sau đó vua Charles III đã cho xây thêm vào 2 cánh nhà nữa.

Các vườn lớn lao, được dựng lên để làm nổi bật nơi cư trú của hoàng gia tại vùng đất khô cằn meseta của Tây Ban Nha - dùng nước của các sông Tagus và Jarama kế cận - là nơi quan trọng nhất của Tây Ban Nha trong thời Nhà Habsburg. Vườn Jardín de la Isla là một đảo nhân tạo bao quanh bởi sông Tagus và kênh Ria.

Vườn Jardín del Principe có một dinh nhỏ (dinh Casa del Labrador, xây cho Charles IV) và khu bảo tàng Museo de las Falúas Reales, chứa bộ sưu tập các du thuyền đáy bằng quan trọng nhất hiện vẫn còn, của hoàng gia Tây Ban Nha.

Bộ sưu tập nghệ thuật và lịch sử quan trọng của dinh này nằm ở phòng bảo tàng Museo de la Vida en Palacio, mô tả cuộc sống thường ngày của các vua chúa Tây Ban Nha.